推理优化
  1. 首页
  2. 推理优化

列表

TeleChat2

TeleChat2

TeleChat2-115B是一款由中国电信人工智能研究院开发的大型语言模型，具备强大的文本生成能力。它支持多语言处理，包括中文和英文，并且能够高效执行多种任务，如文本生成、代码编写、数据分析和语言翻译等。此外，TeleChat2-115B通过先进的架构设计，如Decoder-only结构和Rotary Embedding位置编码方法，提升了模型性能与稳定性。该模型适用于智能客服、内容创作、教育辅
AI项目与工具 2025年06月12日
LaTRO

LaTRO

LaTRO（Latent Reasoning Optimization）是一种用于提升大型语言模型推理能力的框架，通过将推理过程视为潜在分布采样并采用变分推断方法进行优化，无需外部反馈即可增强模型生成高质量推理路径的能力。该框架支持自奖励机制、联合学习及梯度估计等技术，广泛应用于数学问题求解、科学问题解答、编程任务、逻辑推理以及自然语言理解等领域，有助于构建更智能、更自主的问题解决系统。
AI项目与工具 2025年06月12日
RWKV

RWKV

RWKV-7是一种先进的大模型架构，超越传统注意力机制，具备强大的上下文学习能力和高效的训练稳定性。其动态状态更新和学习率调整机制提升了模型性能，适用于文本生成、机器翻译、情感分析、对话系统及多语言处理等多种应用场景。
AI项目与工具 2025年06月12日
Bamba

Bamba

Bamba-9B是一种基于Mamba2架构的解码型语言模型，专注于提升大型语言模型的推理效率，尤其擅长处理长文本。它通过恒定的KV-cache设计解决了内存带宽瓶颈问题，并在多个开源平台上得到支持。Bamba-9B不仅具有高效的吞吐量和低延迟的特点，还支持模型量化及长上下文长度扩展，适用于多种应用场景，包括机器翻译、智能客服、内容推荐、自动摘要和社会媒体监控等。
AI项目与工具 2025年06月12日
SANA 1.5

SANA 1.5

SANA 1.5是由英伟达联合多所高校研发的高效线性扩散变换器，专用于文本到图像生成任务。其核心优势包括高效的训练扩展、模型深度剪枝、推理时扩展等技术，能够在不同计算预算下灵活调整模型性能。支持多语言输入，并具备开源特性，适用于创意设计、影视制作、教育等多个领域。实验表明，其生成质量接近行业领先水平，同时显著降低计算成本。
AI项目与工具 2025年06月12日
UltraMem

UltraMem

UltraMem是字节跳动推出的超稀疏模型架构，通过优化内存访问和计算效率，显著降低推理成本并提升速度。其核心技术包括多层结构改进、TDQKR和IVE，使模型在保持性能的同时具备更强的扩展性。适用于实时推理、大规模模型部署及多个行业场景。
AI项目与工具 2025年06月12日
MeteoRA

MeteoRA

MeteoRA是一种基于LoRA和混合专家架构的多任务嵌入框架，用于大型语言模型。它支持多任务适配器集成、自主任务切换、高效推理及复合任务处理，提升模型灵活性和实用性。通过动态门控机制和前向加速策略，显著提高推理效率并降低内存占用，适用于多领域问答、多语言对话等场景。
AI项目与工具 2025年06月12日
Profiling Data

Profiling Data

Profiling Data是DeepSeek开发的开源性能分析工具，基于PyTorch Profiler收集程序运行数据，用于优化深度学习模型的训练和推理效率。它支持可视化分析，可定位性能瓶颈、分析资源利用情况、优化通信策略，并适用于分布式系统调优。通过提供详细的运行指标，帮助开发者提升计算与通信效率，实现更高效的系统性能。
AI项目与工具 2025年06月12日
腾讯混元Turbo S

腾讯混元Turbo S

腾讯混元Turbo S是腾讯推出的高效AI模型，采用Hybrid-Mamba-Transformer架构，提升推理效率并降低计算成本。支持快速响应、多领域推理、内容创作及多模态生成，适用于对话、代码、逻辑推理等场景。兼具短思维链与长思维链能力，性能对标行业领先模型。
AI项目与工具 2025年06月12日
PRefLexOR

PRefLexOR

PRefLexOR是由MIT开发的一种基于偏好优化和递归推理的自学习AI框架，能通过多步推理、反思和优化提升输出准确性。其核心技术包括ORPO和DPO，结合“思考令牌”与“反思令牌”实现更精准的推理路径对齐。具备动态知识图谱构建、跨领域推理和自主学习能力，适用于材料科学、信息学等复杂场景，支持开放域问题解决和持续优化。
AI项目与工具 2025年06月12日